Cũng như hầu hết các Giáo phận tại Việt Nam, Giáo phận Hải Phòng sinh ra trong đau thương và lớn lên trong gian khó. Được hình thành từ ân sủng, cùng với mồ hôi nước mắt của các thừa sai, Giáo phận đã trải qua nhiều thăng trầm và ngày hôm nay đang cố gắng để viết tiếp những trang sử của các bậc Tiền nhân.

Ngày 9 tháng 9 năm 1659, với Sắc chỉ Super Cathedram Principis, Giáo hoàng Alexander VII (1655-1667) thiết lập ở Việt Nam hai Hạt Đại diện Tông Tòa: Đàng Ngoài và Đàng Trong. Vùng đất Hải Phòng, Hải Dương lúc này đã những giáo xứ quan trọng ở Đàng Ngoài như Xứ Đoài, Xứ Bắc, Kẻ Sặt.

Năm 1679, Giáo hoàng Innôcentê XI (1676-1689) chia Hạt Đại diện Tông Tòa Đàng Ngoài làm hai: Đông Đàng Ngoài và Tây Đàng Ngoài, lấy sông Hồng và sông Lô làm ranh giới. Linh mục François Deydier Phan, thuộc Hội Thừa sai Paris, được đặt làm Giám mục tiên khởi của Hạt Đại diện (Địa phận_ Đông Đàng Ngoài, lúc đó Toà Giám mục thường ở Phố Hiến; sau đời Giám mục Deydier, Toà Giám mục thường đặt ở vùng Bùi Chu, đôi khi ở Kẻ Sặt, Hải Dương.

Ngày 5 tháng 9 năm 1848, Giáo hoàng Piô IX (1848-1878) ban Chiếu thư chia tỉnh Nam Định và tỉnh Hưng Yên, lập thành Hạt Đại diện Tông Tòa (Địa phận) Trung, phần đất còn lại giữ tên cũ là Địa phận Đông, do Giám mục Jeronimo Hermosilla Liêm, O.P., giám mục tiên khởi người Tây Ban Nha, coi sóc. Ngày 6 tháng 11 năm 1861, giám mục này tử đạo tại khu Năm Mẫu (Hải Dương). Trong thời Giám mục Liêm, Địa phận có diện tích đất rộng, lúc này giáo dân đã lên tới con số 45.000, ở rải rác trong 327 xứ và họ trên tổng số dân là 3 triệu người. Toà Giám mục khi ở Nam Am, khi ở Kẻ Mốt (thuộc Bắc Ninh ngày nay). Giáo phận Đông đã có các trường Lý Đoán (Đại chủng viện) và La Tinh (Tiểu chủng viện) ở Đông Xuyên, Kẻ Mốt, Tử Nê.

Ngày 29 tháng 5 năm 1883, Giáo hoàng Lêô XIII (1878-1889) công bố Chiếu thư lập Giáo phận Bắc. Phần còn lại gồm các tỉnh Hải Dương (bấy giờ gồm cả Kiến An), Quảng Yên và Hải Ninh (tức Móng Cái), vẫn giữ tên cũ là Giáo phận Đông do Giám mục Jose Terrès Hiến coi sóc. Toà Giám mục đặt ở Hải Dương. Hải Phòng khi ấy là nhiệm sở của Tổng đại diện, nhưng năm 1880, linh mục Tổng Đại diẹn Salvador Masso Tế đã xây nhà thờ Chính tòa.

Năm 1890, Giám mục Terrès Hiến dời Toà Giám mục từ Hải Dương ra Hải Phòng, còn cơ sở Tổng đại diện chính chuyển sang Liễu Dinh một thời gian rồi đưa về Kẻ Sặt. Hàng giáo sĩ năm 1892 có Giám mục Terrès Hiến, 32 linh mục triều, 8 thừa sai, 2 linh mục dòng người Việt, 82 thầy giảng, 20 chủng sinh thần học, 20 chủng sinh triết, 20 tiểu chủng sinh, 281 học sinh trường thử và 41.120 giáo dân.

Ngày 3 tháng 12 năm 1924, Toà Thánh đổi tên Địa phận Đông theo địa hạt hành chính, nơi đặt Toà Giám mục, thành Giáo phận Hải Phòng, lúc bấy giờ do Giám mục Francisco Ruiz de Azua Minh, O.P. (1919-1929) coi sóc.